AI 安全
概念 ai 安全 伦理
来源数 1 Sat Apr 11 2026 08:00:00 GMT+0800 (China Standard Time)
AI 安全
指在大模型和 AI Agent 广泛具备自主行动能力后，围绕可控性、对齐性和滥用风险所形成的安全议题。
核心矛盾
- 上下文压缩导致指令遗忘：这不是 bug，而是大语言模型的底层机制。
- 能力与可控性的鸿沟：AI 基于概率执行，可能"创造性地理解"指令。
- 自主性与服从性的张力：社会要求 AI 越来越自主，却又期待它绝对服从。
关键警示
马斯克：人们可能把自己整个人生的 root 权限交给 OpenClaw。
水水的认知
人类驯服了火，但时不时仍会被火烧。OpenClaw 很强大，但需要谨慎使用。/stop 命令很重要，不要把 root 权限完全交给 AI Agent。